06 AR ハンドとEMSによる手指の同期を用いた遠隔でのピアノ演奏指導

守新太郎(筑波大)，井原圭一(筑波大)，川口一画(筑波大)

https://scrapbox.io/files/65658a366a45f0001b3a0d27.png

論文：

要旨：

本論文では拡張現実感(AR)と電気的筋肉刺激(EMS)を組み合わせた遠隔楽器演奏支援システムを提案する。指導者の手の動きをアバタに変換し学習者のHMDにAR提示することによって、演奏時の手の形の効率的な伝達および遠隔者の存在感の向上を目指す。また、指導者が楽器の弦や鍵盤などを押さえたときに、学習者の手に対してEMSを与えることによって、指の動きや押す強さを伝達する。本論文では、ピアノの演奏指導を目的とした提案システムのプロトタイプを実装し、具体的なインタラクション方法を示す。

採録時コメント：

ピアノ学習者に対する遠隔指導手法として一定の新規性がある点、提案手法や実装を中心に論文の記述が明瞭である点が評価されました。一方、「EMSの性能や設計意図の記述不足」「タイミング制御手法の記述不足」「一部参考文献の不足」等が指摘されたため、ショート採録（条件付き）と判定します。

参加者メモ・コメント：

+1.icon

遠隔指導でない従来のin personな指導では一人称視点でないと思うのですが、一人称視点が指導に有効だというのは自明なのでしょうか？逆に一人称視点が有効なのであれば、遠隔でないin personな指導でもVR/ARヘッドセットをつけて一人称視点を見せながら指導する方が良いということになりますか？

手の形を確認できるという利点がある（ため、in personな指導でももしかするとヘッドセットをつけることが有効である可能性がある？）

「強さの伝達」とありますが、EMSの強度は何ビットですか？

256段階と説明がありました（ということであっていますか？）

了解、 8bit ですね。

前提条件として、手の位置と形状を（学習者側が）きっちり合わせる必要があると思いますが、これは結構ハードルが高いのでは？

レイテンシ厳しそう。教師が鍵盤を叩く（教師側の音が鳴る）、教師の手形状把握→ネットワーク伝達→EMS→指が動いて鍵盤を叩く→生徒の音が鳴る。短音の伝達はできるかもしれないが、「曲」は難しそう。

+1.icon

「弾くから見ててね」じゃなくて「弾くから感じてね」になると、指導者側の振る舞いも変わってきそう

録画もしたくなりそう

具体的にどういう内容の指導を想定しているのかが気になります。「音楽表現としてこのフレーズはこう弾くべき」という指導なのか、「あるフレーズがお手本通りに弾けないときに、どのように指に力をいれれば良いのか」という指導なのか、など。（10年ほどピアノを習っていた経験がありますが、実は後者の指導はあまりうけた記憶がありません。）

何人かの先生のデータをとっておいて一番まねしやすそうな先生にフィットさせるみたいな拡張がありえそう

ペドロロペスのところのやつですね！

つーか、EMSよりこっちの方が効果的かも（「ここだよここ！」）

バイラテラルEMS面白そう（発振すると悲劇（喜劇？））

質疑応答：